面向视频深度研究报告的 Agent 基准与评测框架
🧭 Agent 评测 · 视频深度研究报告
Peking University · Alibaba Token Hub, Alibaba Group
构建首个以源视频为中心的深度研究 Agent 基准 OmniDR-Bench,并提出原子化 Rubric 树评测方法
📌 工作参考价值(4 点)
- 可将 Omni-ARTs 的原子化 rubric 树和 ARC 构建流程复用到电商视频内容评测(如商品讲解、直播回放、教程视频),对 Agent 生成的卖点摘要做逐条可验证打分,替代模糊的 LLM-as-judge。
- skill-based workflow 提供可插拔结构,适合在商品视频导购/答疑 Agent 中按“问题拆解 → 多模态证据检索 → 交互式报告/回答卡片”组织 pipeline,尤其要求输出带时间戳引用,直接匹配短视频带货场景的卖点溯源。
- 当前 Agent 在跨模态因果推理和引用准确性上仍是明显短板,业务上做视频问答或报告生成时,应增加对引用证据的强校验层(检索片段强制回挂时间戳并二次校验),避免 LLM 幻觉影响用户决策。
- 中英文双语任务与 19 个真实子类别设计可参考,用于构建电商垂直领域的视频 Agent 回归集,覆盖不同品类和问题类型。
HybridResearcher:弥合深度研究智能体的结构化与非结构化边界
🧭 Agent 跨源推理训练与数据合成
Seoul National University · University of California, Los Angeles · University of North Carolina at Chapel Hill · University of Houston · Snowflake AI Research
4B深度研究Agent经跨源桥接轨迹合成训练,在混合基准上超397B大模型8.3分且无灾难遗忘
📌 工作参考价值(4 点)
- 电商/广告分析型 Agent 常需同时查询内部数据库(订单、库存、用户行为)和外部网页(竞品价格、市场趋势、社媒评论),可借鉴本工作从单源种子任务(text-to-SQL 或 web search)出发构造跨源训练轨迹,让 4B 小模型掌握跨源工具调用与证据综合能力。
- 构造训练样本时引入严格 gate(验证单源不足以回答)能强制模型学习互补性而非走捷径,业务中自制跨源数据时可效仿该机制提升数据质量。
- 小模型经精心编排的跨源轨迹 + SFT+RL 可超越大模型且不遗忘单源能力,对成本敏感的线上 Agent 部署有直接参考:无需依赖大模型,领域内单源数据可 bootstrap 跨源推理。
- 评估时同时监测单源基准(如 BrowseComp)和跨源基准,确保增强能力不损伤原有单源检索或 SQL 能力,可作为模型迭代的常规检查项。
不值的另一个Token:深度研究Agent的边际价值估计与高效剪枝
🧭 Agent上下文管理 · 边际价值剪枝 ★ 深度解读
University of Massachusetts Amherst · University of Texas at Austin · Adobe Research
针对长程深度研究Agent,系统对比多阶段剪枝策略,发现剪枝位置比规则更关键,早期剪枝可减少73% token
📌 工作参考价值(4 点)
- 多阶段剪枝理念可迁移至推荐Agent:在生成式推荐或多步检索Agent中,可借鉴 Pre-Retrieval(过滤低价值子查询/召回请求)、Post-Retrieval(根据已收集上下文淘汰冗余召回结果)、Pre-Synthesis(最终排序前压缩上下文)的三阶段剪枝框架,在不显著损失质量的前提下大幅降低 token 消耗与延迟。
- 轻量启发式即可有效:MMR(最大边际相关性)等简单规则在早期剪枝中性价比极高,无需额外的 LLM 调用或复杂学习,适合线上高吞吐场景,尤其在召回阶段过滤冗余物品或搜索词候选时可直接复用。
- 剪枝位置远比具体公式重要:实验表明 Post-Retrieval 剪枝能消除下游扩展成本,而 Pre-Synthesis 剪枝仅压缩最终输入,无法挽回上游开销;在电商 Agent 流程中应优先在搜索/召回早期介入,而非只在排序前做上下文压缩。
- 质量与证据保留需联合评估:论文发现报告质量与引用召回率可能背离,压缩可能提升合成质量但丢失支撑证据;在广告文案生成或推荐理由合成时,应同时监控生成文本的支撑度和事实准确性,避免过度剪枝导致信息缺失。